SPSS教程:单因素多元方差分析(One-way MANOVA)
一、问题与数据
研究者想知道三所初中的学生学习成绩是否不同,因此从A、B、C三所学校随机选择20名学生,并记录了他们期末的英语成绩和数学成绩(英语成绩记为English_Score,数学成绩记为Math_Score)。自变量是School,即学生来自的初中,分为三组,分别为School A、School B和School C。部分数据如下:
二、对问题的分析
使用多元方差分析法进行分析时,需要考虑10个假设。
对研究设计的假设:
1. 因变量有2个或以上,为连续变量;
2. 有一个自变量,为二分类或多分类变量;
3. 各观察对象之间相互独立。
对数据的假设:
4. 没有单因素离群值(univariate outliers)与多因素离群值(multivariate outliers):单因素离群值是指自变量的各个组中因变量是否是离群值;多因素离群值是指每个研究对象(case)的各因变量组合是否是一个离群值;
5. 各因变量服从多元正态分布;
6. 各因变量之间没有多重共线性;
7. 自变量的各个组内,各因变量之间存在线性关系;
8. 样本量足够;
9. 各组观察对象因变量的方差协方差矩阵相等;
10. 每个因变量在自变量的各个组中方差相等。
三、对假设的判断
那么,进行多元方差进行分析时,如何考虑和处理这10个假设呢?
由于假设1-3都是对研究设计的假设,需要研究者根据研究设计进行判断,所以我们主要对数据的假设4-10进行检验。
(一) 检验假设4、5:是否存在单因素离群值、各因变量是否服从多元正态分布
1. 在主菜单点击 Analyze > Descriptive Statistics > Explore...,如下图:
2. 将English_Score和Math_Score选入Dependent List,将School选入Factor List,点击Plots;
3. 出现下图Plots对话框;
4. 在Boxplots下选择Dependents together,去掉Descriptive下Stem-和-leaf,选择Normality plots with tests,点击Continue,点击OK。
检验假设4:是否存在单因素离群值
1. 在输出的箱式图中,如下图所示,距离箱子边缘超过1.5倍箱身长度的数据点定义为离群值,在本例中,未发现离群值。
2. 为了方便进一步的理解,下面图示是有离群值的箱式图,上下边缘超过1.5倍箱式长度为离群值,如下图所示,用“圆圈”表示,右上标为离群值在数据表中所对应的行数,以圆点表示;将距离箱子边缘超过3倍箱身长度的数据点定义为极端值(极端离群值),用“*”表示,右上标代表离群值在数据表中所对应的行数。因此,在箱式图中查看离群值时,可以直接看“圆圈”或“*”。
3. 离群值的处理
数据中存在离群值的原因有3种:
(1) 数据录入错误:首先应该考虑离群值是否由于数据录入错误所致。如果是,用正确值进行替换并重新进行检验;
(2) 测量误差:如果不是由于数据录入错误,接下来考虑是否因为测量误差导致(如仪器故障或超过量程),测量误差往往不能修正,需要把测量错误的数据删除;
(3) 真实存在的离群值:如果以上两种原因都不是,那最有可能是一种真实的极端数据。这种离群值不好处理,但也没有理由将其当作无效值看待。目前它的处理方法比较有争议,尚没有一种特别推荐的方法。
需要注意的是,如果存在多个离群值,应先把最极端的离群值去掉后,重新检查离群值情况。这是因为有时最极端离群值去掉后,其他离群值可能会回归正常。
离群值的处理方法分为2种:
(1) 保留离群值:
1) 对因变量进行数据转换;
2) 将离群值纳入分析,并坚信其对结果不会产生实质影响。
(2) 剔除离群值:
直接删除离群值很简单,但却是没有办法的办法。当我们需要删掉离群值时,应报告离群值大小及其对结果的影响,最好分别报告删除离群值前后的结果。而且,应该考虑有离群值的个体是否符合研究的纳入标准。如果其不属于合格的研究对象,应将其剔除,否则会影响结果的推论。
检验假设5:各因变量是否服从多元正态分布
1. 对于样本量较小(<50例)的研究,推荐使用Shapiro-Wilk 方法检验正态性。当P<0.05时,认为不是正态分布。本例中,P均大于0.05,说明每所学校的英语成绩和数学成绩均服从正态分布。
2. 不服从正态分布的处理
如果数据不服从正态分布,可以有如下2种方法进行处理:
(1) 数据转换:对转换后呈正态分布的数据进行方差分析。当各组因变量的分布相同时,正态转换才有可能成功。对于一些常见的分布,有特定的转换形式,但是转换后的数据结果可能较难解释。
(2) 直接进行分析:由于多元方差分析对于偏离正态分布有一定的抗性,尤其是在各组样本量相等或近似相等的情况下,而且非正态分布实质上并不影响犯I型错误的概率。因此可以直接进行检验,但是结果中需要报告对正态分布的偏离。
(二) 检验假设6:各因变量之间是否存在多重共线性
1. 在主菜单下点击 Correlate > Bivariate...,如下图所示:
2. 将English_Score和Math_Score选入Variables,点击OK。
3. 结果如下图所示,可以看到English_Score和Math_Score的Pearson相关系数。理想状态下,在做多元方差分析时,各个因变量之间应该存在一定程度的相关关系,但相关性不能太强,如果相关性太强(高于0.9),则存在多重共线性,多元方差分析的假设则不再满足。
在下表中English_Score和Math_Score的Pearson相关系数为0.393,两因变量间存在轻度的相关关系,不存在多重共线性(|r| < 0.9)。
4. 存在多重共线性的处理方法
如果数据具有多重共线性,可以有如下2种方法进行处理:
(1) 删除具有多重共线性的一个因变量,也是最常用的方法;
(2) 可以通过主成分分析将具有多重共线性的多个因变量汇总成一个新的因变量。
(三) 检验假设7:自变量的各个组内,各因变量之间存在线性关系
1. 在主菜单下点击Data > Split File... ,如下图所示:
2. 出现下图Split File对话框;
3. 点击Organize output by groups,将School选入Groups Based on下的框内,点击OK。
4. 在主菜单点击 Graphs > Chart Builder...,如下图所示:
5. 出现Chart Builder对话框
6. 从Choose from选择Scatter/Dot,在中下部的8种图形中,选择下数第三个(如果点击这个图标会出现“Scatterplot Matrix”字样),并拖拽到主对话框中;
7. 出现下图:
8. 将English_Score和Math_Score拖入主对话框中,下方会出现 “+”标记,如下图所示;
9. 出现下图,点击OK
10. 在下面输出的结果中,不难看出,在A、B学校中,数学成绩和英语成绩均存在线性关系,然而,在C学校中, 线性关系难以判断。为了后续进行多元方差分析,我们在此接受每所学校中数学成绩和英语成绩存在线性关系的假设。
注:如果不会判断线性关系,可以参考下图,从眼睛判断大致的关系。
如果不存在线性关系,可以通过3种方式进行处理:(1) 对1个或多个因变量进行转换;(2) 去除掉不存在线性关系的因变量; (3) 直接进行分析,尽管统计效能会降低。
(四) 检验假设4: 是否存在多因素离群值
在SPSS中,有许多方法可以检验多因素离群值,但是在单因素多元方差分析中的多因素离群值,一般推荐用马氏距离(Mahalanobis distance)来判断是否存在多因素离群值。马氏距离一般应用于多因素回归分析,在SPSS的Regression procedure中可以计算马氏距离。
1. 在步骤(三)数据拆分的情况下, 在主菜单下点击 Analyze >Regression >Linear...,如下图所示:
2. 出现Linear Regression对话框,将subject_id选入Dependent框中,将English_Score和Maths_Score选入Independent(s)中,如下图所示:
3. 点击Save,出现Linear Regression:Save对话框,点击Distances下的Mahalanobis,即马氏距离,点击Continue,点击OK。
4. 在主界面下,可以看到出现新变量MAH_1;
5. 选中MAH_1变量,右键,选择Sort Descending,对新变量进行降序排列;
6. 如下图所示,是对马氏距离降序排列后的数据界面;
7. 马氏距离需要根据下表中Critical Value进行对比,下表中Critical Value是在α=0.001时不同变量数对应的卡方分布的卡方值,由于本例中因变量有2个,对应的Critical Value为13.82,而本例中马氏距离最大值为6.67463<13.82,所以不存在多因素离群值。
如果存在多因素离群值,处理方法分为2种:
(1) 保留离群值:
1) 将因变量转换成其他形式;
2) 将离群值纳入分析,当样本量较大时,多元方差分析对多因素离群值较为稳健。
(2) 剔除离群值:
直接删除离群值很简单,是常用的办法。当我们需要删掉离群值时,应该注意一个离群值可能会掩盖另一个离群值的存在。所以在删除离群值后,应重新进行对假设的检验。最后需要在结果中报告删除的离群值和原因。
8. 需要去除之前对数据的拆分。在主菜单下点击Data > Split File...,如下图所示:
9. 出现Split File对话框,点击Analyze all cases,do not create groups,点击OK。
四、多元方差的SPSS操作
1. 在主菜单下点击Analyze >General Linear Model >Multivariate...,如下图所示:
2. 出现Multivariate对话框,将English_Score和Maths_Score选入Dependent Variables,将School选入Fixed Factor(s),点击Post Hoc;
3. 出现Multivariate: Post Hoc Multiple Comparisons for Observed Means对话框,将School选入Post Hoc Tests for,在Equal Variances Assumed下方选择Tukey,点击Continue;
4. 点击Options,出现Multivariate: Options对话框,如下图所示;
5. 将School选入Display Means for:下方,勾选Display下方的Descriptive statistics、Estimates of effect size和Homogeneity tests,点击Continue,点击OK。
检验假设8:样本量足够
多元方差分析中的样本量足够是指自变量的每组中的例数要不少于因变量个数,本例中因变量有2个,所以自变量每组中至少有2例才能满足样本量足够的假设。在输出的结果的Between-Subjects Factors表中可以看到每组20例,满足条件。
检验假设9:各组观察对象因变量的方差协方差矩阵相等
在输出的结果的Box's Test of Equality of Covariance Matrices表中,如果P<0.001,则违反了协方差矩阵相等的假设;如果P>0.001,则协方差矩阵相等的假设成立。
本例中,P=0.003>0.001, 所以各组观察对象因变量的方差协方差矩阵相等的假设成立。大家可能注意到此时的显著性水平是0.001而非0.05,这是由于该检验的敏感性所以下调了显著性水平。
检验假设10:每个因变量在自变量的各个组中是否方差相等。
在输出的结果的Levene's Test of Equality of Error Variances表中,该检验中如果P<0.05,则方差不相等;如果P>0.05,则方程相等。本例中,P值均大于0.05,所以方差相等的假设成立。
如果检验发现方差不等,有2种方法进行处理:(1)对因变量进行转换,并重新进行所有的检验;(2)不进行处理,并接受较低的α水平,即犯I类错误的概率可能增大。
五、结果解释
1. 描述性统计结果
(1) 在Descriptive Statistics表中,分别给出了三个英语成绩和数学成绩在三所学校的均值、标准差和例数。A、B、C三所学校学生的英语成绩(分别为75.6 ± 8.2,63.6 ± 6.6和59.8 ± 4.6)均高于他们的数学成绩(分别为43.9 ± 8.5,40.8 ± 8.2和30.8 ± 7.7)。
(2) 在School表中,还给出了均值的置信区间,如下表所示,在此不做赘述。
2. 多元方差分析结果
(1) 在Multivariate Tests表中,Pillai's Trace、Wilks' Lambda、 Hotelling's Trace和Roy's Largest Root为四个多元统计量,用于检验组间差异。最常用的统计量为Wilks' Lambda,该检验P<0.05时,自变量的组间差异具有统计学意义。
本例中F=17.675,P<0.001,Wilks' Lambda =0.376; partial η2=0.387,所以各学校的学生学习成绩存在的差异具有统计学意义。
(2) Tests of Between-Subjects Effects表实际上是对因变量单独进行一元方差分析的结果。
本例中共有2个因变量,所以α水平需要进行校正,采用Bonferroni方法对显著性水平α进行校正,调整后的α水平为0.025(可参考下表)。
如下表中突出显示的部分,来自不同学校的学生英语成绩的差异具有统计学意义,F=30.875,P<0.001,partial η2= 0.520。
如下表中突出显示的部分,来自不同学校的学生数学成绩的差异具有统计学意义,F=14.295,P<0.001;partial η2=0.334。
(3) 如果任何一个一元方差分析具有统计学意义,就需要进行多重比较。一般用Tukey post-hoc tests方法检验。如果违反了方差相等的假设,可以用Games-Howell post-hoc test方法。
Tukey post-hoc检验显示,来自A学校的学生的英语平均成绩显著高于来自B(P<0.001)和C学校的学生(P<0.001),但未发现来自B学校的学生和来自C学校的学生英语平均成绩存在差异(P=0.169);
对于数学成绩,Tukey post-hoc检验显示,来自C学校的学生数学平均成绩显著低于来自A学校(P<0.001)和B学校(P=0.001)的学生,但未发现来自A学校的学生和来自B学校的学生数学平均成绩存在差异(P=0.443)。
此处详细的解释请参考:单因素方差分析,我见过的最详细SPSS教程。
(4) 边际均值与轮廓图
除上述结果外,SPSS还给出了English_Score和Math_Score的边际均值轮廓图,较为直观地反映各组因变量情况。边际均值是值基于现有模型,当控制了其他因素的作用时,根据样本情况计算出的用于比较各水平的均值估计值。然而,该图并没有太大的参考价值,在此不作详述。
六、 撰写结论
运用多元方差分析方法,分析入学前所在学校对学生学习表现的影响。学生的学习表现主要通过英语和数学期末考试成绩体现,学生来自三所A、B、C三所学校。
分析前,对方法的假设进行检验:Shapiro-Wilk检验显示因变量服从正态分布(P>0.05);通过箱式图未发现单因素离群值,通过马氏距离未发现多元离群值(P>0.001);散点图发现因变量间存在线性关系;English_Score和Math_Score的Pearson相关系数为0.393,两因变量间存在轻度的相关关系,不存在多重共线性(r=0.393, P=0.002); Box's M检验显示方差的协方差矩阵相等(P=0.003)。
A、B、C三所学校学生的英语成绩(分别为75.6 ± 8.2,63.6 ± 6.6和59.8 ± 4.6)均高于他们的数学成绩(分别为43.9 ± 8.5,40.8 ± 8.2和30.8 ± 7.7)。
各学校的学生学习成绩存在的差异具有统计学意义,F=17.675,P<0.001,Wilks' Lambda = 0.376; partial η2=0.387。
单因素方差分析显示三所学校学生的英语成绩(F=30.875, P<0.0005;partial η2=0.520)和数学成绩(F=14.295, P<0.001;partial η2=0.334)均存在差异,采用Bonferroni法进行校正的α水平为0.025。
Tukey post-hoc检验显示,来自A学校的学生的英语平均成绩显著高于来自B(P<0.001)和C学校的学生(P<0.001),但未发现来自B学校的学生和来自C学校的学生英语平均成绩存在差异(P=0.169);
对于数学成绩,Tukey post-hoc检验显示,来自C学校的学生数学平均成绩显著低于来自A学校(P<0.001)和B学校(P=0.001)的学生,但未发现来自A学校的学生和来自B学校的学生数学平均成绩存在差异(P=0.443)。
(如果你想使用文中数据进行练习,请随时给小咖(微信:xys2016ykf)发消息,小咖将原始数据发给你。)
更多阅读
关注医咖会,轻松学习统计学~
有临床研究设计或统计学方面的难题?快加小咖个人微信(xys2016ykf),拉你进统计讨论群和众多热爱研究的小伙伴们一起交流学习。如果想进群,添加小咖时请注明“加群”二字。
点击左下角“阅读原文”,看看医咖会既往推送了哪些统计教程。